Recent CLIP-guided 3D optimization methods, e.g., DreamFields and PureCLIPNeRF achieve great success in zero-shot text-guided 3D synthesis. However, due to the scratch training and random initialization without any prior knowledge, these methods usually fail to generate accurate and faithful 3D structures that conform to the corresponding text. In this paper, we make the first attempt to introduce the explicit 3D shape prior to CLIP-guided 3D optimization methods. Specifically, we first generate a high-quality 3D shape from input texts in the text-to-shape stage as the 3D shape prior. We then utilize it as the initialization of a neural radiance field and then optimize it with the full prompt. For the text-to-shape generation, we present a simple yet effective approach that directly bridges the text and image modalities with a powerful text-to-image diffusion model. To narrow the style domain gap between images synthesized by the text-to-image model and shape renderings used to train the image-to-shape generator, we further propose to jointly optimize a learnable text prompt and fine-tune the text-to-image diffusion model for rendering-style image generation. Our method, namely, Dream3D, is capable of generating imaginative 3D content with better visual quality and shape accuracy than state-of-the-art methods.

To reproduce the success of text-to-image (T2I) generation, recent works in text-to-video (T2V) generation employ large-scale text-video dataset for fine-tuning. However, such paradigm is computationally expensive. Humans have the amazing ability to learn new visual concepts from just one single exemplar. We hereby study a new T2V generation problem$\unicode{x2014}$One-Shot Video Generation, where only a single text-video pair is presented for training an open-domain T2V generator. Intuitively, we propose to adapt the T2I diffusion model pretrained on massive image data for T2V generation. We make two key observations: 1) T2I models are able to generate images that align well with the verb terms; 2) extending T2I models to generate multiple images concurrently exhibits surprisingly good content consistency. To further learn continuous motion, we propose Tune-A-Video with a tailored Sparse-Causal Attention, which generates videos from text prompts via an efficient one-shot tuning of pretrained T2I diffusion models. Tune-A-Video is capable of producing temporally-coherent videos over various applications such as change of subject or background, attribute editing, style transfer, demonstrating the versatility and effectiveness of our method.

Vector-Quantized (VQ-based) generative models usually consist of two basic components, i.e., VQ tokenizers and generative transformers. Prior research focuses on improving the reconstruction fidelity of VQ tokenizers but rarely examines how the improvement in reconstruction affects the generation ability of generative transformers. In this paper, we surprisingly find that improving the reconstruction fidelity of VQ tokenizers does not necessarily improve the generation. Instead, learning to compress semantic features within VQ tokenizers significantly improves generative transformers' ability to capture textures and structures. We thus highlight two competing objectives of VQ tokenizers for image synthesis: semantic compression and details preservation. Different from previous work that only pursues better details preservation, we propose Semantic-Quantized GAN (SeQ-GAN) with two learning phases to balance the two objectives. In the first phase, we propose a semantic-enhanced perceptual loss for better semantic compression. In the second phase, we fix the encoder and codebook, but enhance and finetune the decoder to achieve better details preservation. The proposed SeQ-GAN greatly improves VQ-based generative models and surpasses the GAN and Diffusion Models on both unconditional and conditional image generation. Our SeQ-GAN (364M) achieves Frechet Inception Distance (FID) of 6.25 and Inception Score (IS) of 140.9 on 256x256 ImageNet generation, a remarkable improvement over VIT-VQGAN (714M), which obtains 11.2 FID and 97.2 IS.

弱监督的动作本地化旨在仅使用视频级别的分类标签在给定的视频中进行本地化和分类。因此，现有的弱监督行动定位方法的关键问题是从弱注释中对精确预测的有限监督。在这项工作中，我们提出了视频级别和摘要级别的举止，即等级的层次策略，即等级监督和等级一致性挖掘，以最大程度地利用给定的注释和预测一致性。为此，提出了一个分层采矿网络（HIM-NET）。具体而言，它在两种谷物中挖掘了分类的层次监督：一个是通过多个实例学习捕获的地面真理类别的视频级别存在；另一个是从互补标签的角度来看，每个负标签类别的摘要级别不存在，这是通过我们提出的互补标签学习优化的。至于层次结构的一致性，HIM-NET探讨了视频级别的共同作用具有相似性和摘要级别的前景背景对立，以进行判别表示学习和一致的前景背景分离。具体而言，预测差异被视为不确定性，可以选择对拟议的前后背景协作学习的高共识。全面的实验结果表明，HIM-NET优于Thumos14和ActivityNet1.3数据集的现有方法，该数据集具有较大的利润率，通过层次挖掘监督和一致性。代码将在GitHub上提供。

预先培训用于学习可转让的视频文本表示的模型，以近年来引起了很多关注。以前的主导作品主要采用两个独立的编码器来有效检索，但忽略视频和文本之间的本地关联。另一种研究使用联合编码器与文本交互视频，但是由于每个文本视频对需要馈送到模型中的低效率。在这项工作中，我们能够通过新颖的借口任务进行微粒视频文本交互，以便通过新颖的借口任务进行检索，称为多项选择题（MCQ），其中参数模块BridgeFormer培训以接受由此构建的“问题”。文本功能通过诉诸视频功能。具体来说，我们利用了文本的丰富语义（即，名词和动词）来构建问题，可以培训视频编码器以捕获更多区域内容和时间动态。以问题和答案的形式，可以正确建立本地视频文本功能之间的语义关联。 BridgeFormer能够删除下游检索，只有两个编码器渲染高效且灵活的模型。我们的方法在具有不同实验设置（即零拍摄和微调）的五个数据集中，在五个数据集中优于最先进的方法，包括不同的实验设置（即零拍摄和微调），包括HOWTO100M（一百万个视频）。我们进一步开展零射击动作识别，可以作为视频到文本检索，我们的方法也显着超越了其对应物。作为额外的好处，我们的方法在单模下游任务中实现了竞争力，在单模下游任务上具有更短的预训练视频，例如，使用线性评估的动作识别。

最近，通过引入大规模的数据集和强大的变压器网络，视频预培训表明尤其是检索的巨大成功。然而，现有的视频语言变压器模型没有明确细粒度的语义对齐。在这项工作中，我们呈现了对象感知的变换器，以对象为中心的方法，该对象方法扩展了视频语言变压器来合并对象表示。关键的想法是利用边界框和对象标签来指导培训过程。我们在四个广泛使用的基准测试中评估了我们的三个标准子任务的模型。我们还提供了深入的分析和详细消融关于所提出的方法。我们在考虑的所有任务和数据集中表现出清晰的性能，展示将对象表示的模型中的型号集成到视频架构中。代码将以\ URL {https://github.com/fingerrec/oa -transformer}释放。

大多数用于音频任务的机器学习模型都在处理手工制作的功能，即频谱图。但是，仍然未知是否可以用基于深度学习的功能代替频谱图。在本文中，我们通过将不同的可学习神经网络与成功的频谱图模型进行比较，并提出了基于双U-NET（GAFX-U）的一般音频提取器（GAFX）（GAFX-R（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R）（GAFX-R））和注意力（GAFX-A）模块。我们设计实验以评估GTZAN数据集上的音乐流派分类任务，并遵循音频频谱变压器（AST）分类器Achie Achie Achie aCHIE竞争性能，对我们框架的不同配置和模型GAFX-U进行了详细的消融研究。

机器人社区早已期望在混乱环境中处理物体的能力。但是，大多数作品只是专注于操纵，而不是在混乱的对象中呈现隐藏的语义信息。在这项工作中，我们介绍了在混乱的场景中进行体现探索的场景图，以解决此问题。为了在混乱的情况下验证我们的方法，我们采用操纵问题答案（MQA）任务作为我们的测试基准，该测试基准要求具有体现的机器人具有主动探索能力和视觉和语言的语义理解能力。任务，我们提出了一种模仿学习方法，以生成探索的操作。同时，采用了基于动态场景图的VQA模型来理解操纵器手腕摄像头的一系列RGB帧以及操纵的每一步，以在我们的框架中回答问题。我们提出的框架对于MQA任务有效，代表了混乱的场景中的任务。

在本文中，我们研究了启用高速雾无线电访问网络（F-RAN）中的内容受欢迎程度预测问题。为了以高准确性和低复杂性预测内容的流行，我们提出了基于高斯流程的回归器，以模拟内容请求模式。首先，我们提出的模型捕获了内容特征和受欢迎程度之间的关系。然后，我们利用贝叶斯学习来训练模型参数，这对于过度拟合非常可靠。但是，贝叶斯方法通常无法找到后验分布的闭合形式表达。为了解决此问题，我们采用随机方差降低梯度哈密顿蒙特卡洛（SVRG-HMC）方法来近似后验分布。为了利用其他FOG接入点（F-AP）的计算资源并减少开销的通信，我们提出了一个量化的联合学习（FL）框架与贝叶斯学习相结合。量化的联合贝叶斯学习框架允许每个F-AP在量化和编码后将梯度发送到云服务器。它可以有效地实现预测准确性和通信间接费用之间的权衡。仿真结果表明，我们提出的政策的绩效优于现有政策。

在本文中，研究了FOG无线电访问网络（F-RAN）中的内容流行度预测问题。基于聚集的联合学习，我们提出了一种新颖的移动性知名度预测策略，该政策将内容受欢迎程度整合在本地用户和移动用户方面。对于本地用户，通过学习本地用户和内容的隐藏表示形式来预测内容的普及。本地用户和内容的初始功能是通过将邻居信息与自我信息结合在一起来生成的。然后，引入了双通道神经网络（DCNN）模型，以通过从初始功能中产生深层特征来学习隐藏表示形式。对于移动用户，通过用户偏好学习预测内容流行。为了区分内容受欢迎程度的区域变化，采用了聚类联合学习（CFL），这使具有相似区域类型的雾接入点（F-APS）彼此受益，并为每个F-AP提供更专业的DCNN模型。仿真结果表明，我们提出的政策对传统政策实现了重大的绩效提高。